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Systemen  waarin  een  bestuurder  drie  translatoire  vrijheidsgraden  moet  besturen  zijn  gemeengoed  in 
ondermeer  de  robotica,  afstandsbestuurde  camera's,  en  tele-chirurgie.  In  deze  situaties  heeft  de 
bestuurder  vaak  geen  direct  zicht  op  het  bestuurde  object,  maar  ziet  de  bewegingen  ervan  via  een 
camera  -  monitor  systeem,  of  via  een  versimpeld  grafisch  display.  Bij  het  ontwerpen  van  zulk  soort 
systemen,  is  het  belangrijk  om  een  compatibele  relatie  tussen  de  bewegingen  van  het  bedieningsmid- 
del  en  het  object  te  bewerkstelligen.  Een  compatibele  relatie  leidt  tot  betere  prestaties:  snellere 
reactietijden,  minder  fouten  en  een  sneller  leerproces. 

Bij  het  mappen  van  deze  bewegingen  kunnen  twee  principes  onderscheiden  worden.  Het  eerste 
levert  een  mapping  waarbij  de  bewegingen  van  het  bedieningsmiddel  en  het  object  altijd  parallel  zijn 
in  de  3D  ruimte  (ruimtelijke-beweging  mapping).  Het  tweede  leidt  tot  een  mapping  waarbij  de 
bewegingen  gelijk  zijn  ten  opzichte  van  het  vlak  waarin  het  bedieningsmiddel  gepositioneerd,  en  het 
display  georienteerd  is  (referentievlak  mapping).  Beide  vlakken  zullen  vaak  niet  parallel  zijn,  bv.  als 
een  monitor  op  een  tafel  staat  waarin  het  bedieningsmiddel  is  gemonteerd.  In  die  gevallen  zullen 
beide  principes  tot  een  verschillende  mapping  leiden. 

Uit  de  literatuur  naar  taken  met  twee  vrijheidsgraden  blijkt  dat  referentievlak  mapping  het  meer 
compatibele  principe  is.  De  vraag  is  echter  of  deze  resultaten  ook  voor  taken  met  drie  vrijheids¬ 
graden  geldig  zijn.  In  een  eerder  experiment  bij  TNO  Technische  Menskunde  werd  geconcludeerd 
dat  referentievlak  mapping  ook  bij  3D  taken  tot  betere  prestaties  leidt.  Er  zijn  echter  indicaties  dat 
dit  voordeel  werd  veroorzaakt  door  het  gebrek  aan  visuele  diepte  cues  in  het  display.  Hierdoor 
konden  bestuurders  de  taak  ervaren  als  een  2D  muis  besturingstaak  waaraan  een  derde  dimensie  is 
toegevoegd.  Het  huidige  experiment  gebruikt  dezelfde  3D  positioneringstaak,  maar  met  een  display 
waaraan  hoogwaardige  diepte  cues  zijn  toegevoegd.  Dit  lijkt  dus  op  een  simulatie  van  indirect  zicht 
via  een  camera  -  monitor  systeem. 

Belangrijkste  resultaat  van  het  experiment  is  het  voordeel  van  de  ruimtelijke  -  bewegings  mapping 
Gesuggereerd  wordt  dat  het  verschil  met  het  eerdere  experiment  verklaard  kan  worden  door  de 
aanwezigheid  van  de  diepte  cues.  Deze  kunnen  ervoor  gezorgd  hebben  dat  de  bestuurders  hun  taak 
ook  echt  als  3D  taak  ervaren  hebben. 

Het  resultaat  kan  belangrijke  consequenties  hebben  voor  de  ontwerpers  van  zulke  systemen.  De 
compatibele  relatie  tussen  control  en  display  hangt  dus  af  van  de  beschikbaarheid  van  visuele  diepte 
cues  in  het  display.  Als  deze  niet  aanwezig  zijn  zullen  bestuurders  een  referentie-vlak  mapping 
verkiezen  (een  2D  muis  met  een  derde  dimensie  toegevoegd  in  de  situatie  waarin  het  besturings- 
middel  in,  en  de  monitor  op  de  operator  tafel  is  geplaatst).  Wanneer  deze  cues  echter  wel  aanwezig 
zijn,  zal  de  voorkeur  uitgaan  naar  het  ruimtelijke-beweging  principe,  hetgeen  zal  leiden  tot  een 
andere  mapping. 
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device  and  the  controlled  object  are  always  parallel  in  3D  space  (spatial-motion  mapping).  The  second  principle  is  a  mapping  in 
which  the  motions  are  parallel  by  comparison  with  the  ground  planes  they  are  located  or  displayed  in  (reference-plane 
mapping).  These  ground  planes  often  are  not  parallel,  for  example  a  monitor  placed  on  the  operator  table  in  which  the  control  is 
located.  When  the  ground  plane  of  the  device  and  the  object  are  not  parallel,  both  principles  will  lead  to  a  different  mapping. 
The  literature  on  tasks  with  two  degrees  of  freedom  shows  that  reference-plane  mapping  is  the  more  compatible  mapping 
principle.  However,  the  question  is  whether  these  results  are  valid  for  3D  tasks  as  well.  Research  on  control  -  display  mapping 
for  three  translational  degrees  of  freedom  is  scarce.  A  previous  experiment  at  the  TNO  Human  Factors  Research  Institute 
showed  an  advantage  of  reference-plane  mapping.  Nonetheless,  there  are  indications  that  this  advantage  is  caused  by  the 
restrained  3D  visual  depth  cues,  which  encouraged  subjects  to  experience  the  task  as  a  2D  task  with  a  third  dirnension  added. 
The  present  experiment  uses  the  same  positioning  task,  but  with  a  display  including  high  quality  depth  cues.  This  may  be  seen 
as  a  simulation  of  indirect  viewing  via  camera  -  monitor  systems,  instead  of  a  simplified  graphical  representation. 

The  main  result  found  was  the  beneficial  effect  of  spatial-motion  mapping.  It  was  suggested  that  this  effect  differs  from  the 
effects  found  in  the  former  experiment,  because  of  the  presence  of  high-quality  visual  depth  cues.  These  cues  may  have 
encouraged  subjects  to  experience  the  task  as  a  real  3D  task.  This  result  may  have  serious  implications  for  the  designers  of 
systems  with  three  translational  degrees  of  freedom.  The  compatible  relation  between  motions  of  the  control  device  and  the 
controlled  object  may  be  largely  dependent  on  the  availability  of  visual  depth  cues  in  the  display.  When  these  cues  are  not 
available,  operators  may  prefer  a  reference-plane  mapping.  But  when  these  cues  are  available,  the  spatial-motion  principle  is 
preferred,  which  leads  to  a  different  mapping. 
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Systemen  waarin  een  bestuurder  drie  translatoire  vrijheidsgraden  moet  besturen  zijn  gemeengoed  in 
ondermeer  de  robotica,  afstandsbestuurde  camera's,  en  tele-chirurgie.  In  deze  situaties  heeft  de 
bestuurder  vaak  geen  direct  zicht  op  het  bestuurde  object,  maar  ziet  de  bewegingen  ervan  via  een 
camera  -  monitor  systeem,  of  via  een  versimpeld  grafisch  display.  Bij  het  ontwerpen  van  zulk  soort 
systemen,  is  het  belangrijk  om  een  compatibele  relatie  tussen  de  bewegingen  van  het  bedieningsmid- 
del  en  het  object  te  bewerkstelligen.  Een  compatibele  relatie  leidt  tot  betere  prestaties;  snellere 
reactietijden,  minder  fouten  en  een  sneller  leerproces. 

Bij  het  mappen  van  deze  bewegingen  kunnen  twee  principes  onderscheiden  worden.  Het  eerste 
levert  een  mapping  waarbij  de  bewegingen  van  het  bedieningsmiddel  en  het  object  altijd  parallel  zijn 
in  de  3D  ruimte  (ruimtelijke-beweging  mapping).  Het  tweede  leidt  tot  een  mapping  waarbij  de 
bewegingen  gelijk  zijn  ten  opzichte  van  het  vlak  waarin  het  bedieningsmiddel  gepositioneerd,  en  het 
display  georienteerd  is  (referentievlak  mapping).  Beide  vlakken  zullen  vaak  niet  parallel  zijn,  bv.  als 
een  monitor  op  een  tafel  staat  waarin  het  bedieningsmiddel  is  gemonteerd.  In  die  gevallen  zullen 
beide  principes  tot  een  verschillende  mapping  leiden. 

Uit  de  literatuur  naar  taken  met  twee  vrijheidsgraden  blijkt  dat  referentievlak  mapping  het  meer 
compatibele  principe  is.  De  vraag  is  echter  of  deze  resultaten  ook  voor  taken  met  drie  vrijheids¬ 
graden  geldig  zijn.  In  een  eerder  experiment  bij  TNO  Technische  Menskunde  werd  geconcludeerd 
dat  referentievlak  mapping  ook  bij  3D  taken  tot  betere  prestaties  leidt.  Er  zijn  echter  indicaties  dat 
dit  voordeel  werd  veroorzaakt  door  het  gebrek  aan  visuele  diepte  cues  in  het  display.  Hierdoor 
konden  besmurders  de  taak  ervaren  als  een  2D  muis  besturingstaak  waaraan  een  derde  diraensie  is 
toegevoegd.  Het  huidige  experiment  gebruikt  dezelfde  3D  positioneringstaak,  maar  met  een  display 
waaraan  hoogwaardige  diepte  cues  zijn  toegevoegd.  Dit  lijkt  dus  op  een  simulatie  van  indirect  zicht 
via  een  camera  -  monitor  systeem. 

Belangrijkste  resultaat  van  het  experiment  is  het  voordeel  van  de  ruimtelijke  -  bewegings  mapping. 
Gesuggereerd  wordt  dat  het  verschil  met  het  eerdere  experiment  verklaard  kan  worden  door  de 
aanwezigheid  van  de  diepte  cues.  Deze  kunnen  ervoor  gezorgd  hebben  dat  de  bestuurders  hun  taak 
ook  echt  als  3D  taak  ervaren  hebben. 

Het  resultaat  kan  belangrijke  consequenties  hebben  voor  de  ontwerpers  van  zulke  systemen.  De 
compatibele  relatie  tussen  control  en  display  hangt  dus  af  van  de  beschikbaarheid  van  visuele  diepte 
cues  in  het  display.  Als  deze  niet  aanwezig  zijn  zullen  bestuurders  een  referentie-vlak  mapping 
verkiezen  (een  2D  muis  met  een  derde  dimensie  toegevoegd  in  de  situatie  waarin  het  besturings- 
middel  in,  en  de  monitor  op  de  operator  tafel  is  geplaatst).  Wanneer  deze  cues  echter  wel  aanwezig 
zijn,  zal  de  voorkeur  uitgaan  naar  het  ruimtelijke-beweging  principe,  hetgeen  zal  leiden  tot  een 
andere  mapping. 
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SUMMARY 

Situations  in  which  the  human  operator  must  control  three  translational  degrees  of  freedom 
are  common  in,  for  example,  control  of  robot  arms,  remotely  controlled  cameras,  and  tele¬ 
surgery.  Often,  the  operator  has  no  direct  view  on  the  controlled  object,  but  receives 
information  on  the  motions  of  the  object  via  a  camera  -  monitor  system  or  a  simplified 
graphical  display.  In  the  design  of  such  systems,  it  is  important  that  the  mapping  of  the 
motions  directions  of  the  input  device  and  the  controlled  object  are  compatible  for  the  human 
operator.  A  compatible  relation  will  lead  to  faster  reaction  times,  faster  learning  and  less 
errors.  For  this  relation,  two  mapping  principles  may  be  distinguished.  The  first  is  a  mapping 
in  which  the  motions  of  the  input  device  and  the  controlled  object  are  always  parallel  in  3D 
space  (spatial-motion  mapping).  The  second  principle  is  a  mapping  in  which  the  motions  are 
parallel  by  comparison  with  the  ground  planes  they  are  located  or  displayed  in  (reference- 
plane  mapping).  These  ground  planes  often  are  not  parallel,  for  example  a  monitor  placed  on 
the  operator  table  in  which  the  control  is  located.  When  the  ground  plane  of  the  device  and 
the  object  are  not  parallel,  both  principles  will  lead  to  a  different  mapping. 

The  literature  on  tasks  with  two  degrees  of  freedom  shows  that  reference-plane  mapping  is  the 
more  compatible  mapping  principle.  However,  the  question  is  whether  these  results  are  valid 
for  3D  tasks  as  well.  Research  on  control  -  display  mapping  for  three  translational  degrees  of 
freedom  is  scarce.  A  previous  experiment  at  the  TNO  Human  Factors  Research  Institute 
showed  an  advantage  of  reference-plane  mapping.  Nonetheless,  there  are  indications  that  this 
advantage  is  caused  by  the  restrained  3D  visual  depth  cues,  which  encouraged  subjects  to 
experience  the  task  as  a  2D  task  with  a  third  dimension  added.  The  present  experiment  uses 
the  same  positioning  task,  but  with  a  display  including  high  quality  depth  cues.  This  may  be 
seen  as  a  simulation  of  indirect  viewing  via  camera  -  monitor  systems,  instead  of  a  simplified 
graphical  representation. 

The  main  result  found  was  the  beneficial  effect  of  spatial-motion  mapping.  It  was  suggested 
that  this  effect  differs  from  the  effects  found  in  the  former  experiment,  because  of  the 
presence  of  high-quality  visual  depth  cues.  These  cues  may  have  encouraged  subjects  to 
experience  the  task  as  a  real  3D  task.  This  result  may  have  serious  implications  for  the 
designers  of  systems  with  three  translational  degrees  of  freedom.  The  compatible  relation 
between  motions  of  the  control  device  and  the  controlled  object  may  be  largely  dependent  on 
the  availability  of  visual  depth  cues  in  the  display.  When  these  cues  are  not  available, 
operators  may  prefer  a  reference-plane  mapping.  But  when  these  cues  are  available,  the 
spatial-motion  principle  is  preferred,  which  leads  to  a  different  mapping. 
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SAMENVATTING 

Systemen  waarin  een  bestuurder  drie  translatoire  vrijheidsgraden  moet  besturen  zijn  gemeen- 
goed  in  ondermeer  de  robotica,  afstandsbestuurde  camera's,  en  tele-chirurgie.  In  deze 
situaties  heeft  de  bestuurder  vaak  geen  direct  zicht  op  het  bestuurde  object,  maar  ziet  de 
bewegingen  ervan  via  een  camera  -  monitor  systeem,  of  via  een  versimpeld  grafisch  display. 
Bij  het  ontwerpen  van  zulk  soort  systemen,  is  het  belangrijk  om  een  compatibele  relatie  tussen 
de  bewegingen  van  het  bedieningsmiddel  en  het  object  te  bewerkstelligen.  Een  compatibele 
relatie  leidt  tot  betere  prestaties:  snellere  reactietijden,  minder  fouten  en  een  sneller  leer- 
proces. 

Bij  het  mappen  van  deze  bewegingen  kunnen  twee  principes  onderscheiden  worden.  Het 
eerste  levert  een  mapping  waarbij  de  bewegingen  van  het  bedieningsmiddel  en  het  object  altijd 
parallel  zijn  in  de  3D  ruimte  (ruimtelijke-beweging  mapping).  Het  tweede  leidt  tot  een 
mapping  waarbij  de  bewegingen  gelijk  zijn  ten  opzichte  van  het  vlak  waarin  het  bedienings¬ 
middel  gepositioneerd,  en  het  display  georienteerd  is  (referentievlak  mapping).  Beide  vlakken 
zullen  vaak  niet  parallel  zijn,  bv.  als  een  monitor  op  een  tafel  staat  waarin  het  bedieningsmid¬ 
del  is  gemonteerd.  In  die  gevallen  zullen  beide  principes  tot  een  verschillende  mapping  leiden. 
Uit  de  literatuur  naar  taken  met  twee  vrijheidsgraden  blijkt  dat  referentievlak  mapping  het 
meer  compatibele  principe  is.  De  vraag  is  echter  of  deze  resultaten  ook  voor  taken  met  drie 
vrijheidsgraden  geldig  zijn.  In  een  eerder  experiment  bij  TNO  Technische  Menskunde  werd 
geconcludeerd  dat  referentievlak  mapping  ook  bij  3D  taken  tot  betere  prestaties  leidt.  Er  zijn 
echter  indicaties  dat  dit  voordeel  werd  veroorzaakt  door  het  gebrek  aan  visuele  diepte  cues  in 
het  display.  Hierdoor  konden  bestuurders  de  taak  ervaren  als  een  2D  muis  besturingstaak 
waaraan  een  derde  dimensie  is  toegevoegd.  Het  huidige  experiment  gebruikt  dezelfde  3D 
positioneringstaak,  maar  met  een  display  waaraan  hoogwaardige  diepte  cues  zijn  toegevoegd. 
Dit  lijkt  dus  op  een  simulatie  van  indirect  zicht  via  een  camera  -  monitor  systeem. 

Belangrijkste  resultaat  van  het  experiment  was  het  voordeel  van  de  ruimtelijke  -  bewegings 
mapping.  Gesuggereerd  wordt  dat  het  verschil  met  het  eerdere  experiment  verklaard  kan 
worden  door  de  aanwezigheid  van  de  diepte  cues.  Deze  kunnen  ervoor  gezorgd  hebben  dat  de 
bestuurders  hun  taak  ook  echt  als  3D  taak  ervaren  hebben. 

Het  resultaat  kan  belangrijke  consequenties  hebben  voor  de  ontwerpers  van  zulke  systemen. 
De  compatibele  relatie  tussen  control  en  display  hangt  dus  af  van  de  beschikbaarheid  van 
visuele  diepte  cues  in  het  display.  Als  deze  niet  aanwezig  zijn  zullen  bestuurders  een 
referentie-vlak  mapping  verkiezen  (een  2D  muis  met  een  derde  dimensie  toegevoegd  in  de 
situatie  waarin  het  besturingsmiddel  in,  en  de  monitor  op  de  operator  tafel  is  geplaatst). 
Wanneer  deze  cues  echter  wel  aanwezig  zijn,  zal  de  voorkeur  uitgaan  naar  het  ruimtelijke- 
beweging  principe,  hetgeen  zal  leiden  tot  een  andere  mapping. 
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1  INTRODUCTION 

Control  devices  in  existent  man-machine  systems  often  have  one  or  two  degrees  of  freedom 
(DOF),  like  volume  knobs  on  radios,  or  handles  of  a  bulldozer.  A  degree  of  freedom  in  this 
instance,  is  a  translation  along  the  x,  y,  or  z  axis,  or  a  rotation  around  one  of  them.  When 
more  than  one  degree  of  freedom  is  involved  in  a  task,  integrating  the  required  degrees  of 
freedom  in  one  control  device  (and  accompanying  display)  may  improve  task  performance.  In 
this  situation,  the  control  order  of  the  integrated  DOF's  must  be  the  same  (i.e.  Chernikoff  & 
Lemay,  1963;  Fracker  &  Wickens,  1989). 

A  control  device  in  which  three  or  more  DOF's  are  integrated  may  be  advantageous  in  tasks 
in  which  objects  with  three  or  more  DOF's  must  be  controlled.  One  of  the  areas  in  which  this 
is  common  is  remote  or  tele-control,  including  the  control  of  unmanned  platforms  and  robot- 
arms,  and  remote  medical  surgery.  However,  these  applications  often  allow  only  indirect 
viewing  of  the  manipulated  objects  via  (2D)  monitors.  In  this  case,  mapping  of  the  motions  of 
the  control  device  in  3D  and  of  the  manipulated  object  depicted  on  a  2D  display  may  be 
accomplished  in  different  ways,  which  are  more  or  less  compatible.  Compatibility  in  this 
regard  is  defined  as  the  similarity  between  the  true  mapping,  and  the  expected  mapping. 
Compatibility  is  enlarged  when  the  true  mapping  is  expected  by  a  larger  proportion  of  the 
population  (Fitts  &  Seeger,  1953;  Kornblum,  Hasbroucq  &  Osman,  1990). 

The  importance  of  a  compatible  control-display  mapping  is  evident.  With  a  compatible 
relation,  performance  will  be  better  than  with  a  less  compatible  or  incompatible  relation.  This 
is  expressed  in  decreasing  reaction  times,  decreasing  number  of  errors,  and  faster  learning 
(i.e.  Duncan,  1977;  Beringer  &  Worringham,  1992;  Fitts  &  Deininger,  1954;  Fitts  &  Seeger, 
1953;  Miller,  1985;  Wayman,  1993).  Furthermore,  with  incompatible  relations,  performance 
is  more  sensitive  to  increased  workload  (Loveless,  1962;  Andre  &  Wickens,  1992;  Wayman, 
1993).  This  may  eventually  lead  to  operators  applying  the  expected  relation  between  control 
and  display. 

Control-display  mapping  for  three  translational  degrees  of  freedom 

Mapping  of  translational  degrees  of  freedom  concerns  motion  compatibility:  the  (direction  of) 
motions  of  the  control  device,  and  the  (direction  of)  motions  of  the  controlled  object  on  the 
display  (Kornblum,  Hasbroucq  &  Osman,  1990).  Involving  linear  controls  and  displays  in 
2D,  research  shows  that  a  compatible  mapping  means  that  motions  of  stimulus  and  response 
are  parallel  when  possible  (Fitts  &  Deininger,  1954;  Loveless,  1962;  Andre  &  Wickens, 
1992;  Simon,  1969).  However,  the  field  of  motion  compatibility  between  3D  control  devices 
and  (2D)  displays  knows  little  research. 

In  general,  for  the  mapping  of  three  translational  DOF,  one  can  distinguish  two  mapping 
principles: 

1  spatial-motion  mapping.  Contrary  to  2D  tasks,  in  3D  tasks,  it  is  always  possible  to 
implement  a  configuration  in  which  all  motions  are  parallel,  despite  the  orientation  of  both 
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control  and  display.  Moving  the  control  forward  results  in  a  forward  motion  on  the 
display,  moving  the  control  upward  results  in  a  upward  motion  of  the  object  on  the 
display,  etc.  This  principle  is  analogous  to  the  principle  of  geographical  compatibility  as 
introduced  by  Beringer  and  Worringham  (1992)  in  their  2D  task,  and  resembles  condition 
A  in  the  research  of  Spragg,  Finck,  and  Smith  (1959),  see  Figure  1C  and  2A. 


Fig.  1  Three  principles  of  compatibility  as  defined  by  Beringer  and  Worringham 
(1992):  A  muscle  synergy,  B  virtual  visual  field  compatibility,  C  geographical  map¬ 
ping. 


Down 


1 

\ 

7 

A 

/ 

Up 

B 


Fig.  2  The  four  control  display  configurations  used  by  Spragg,  Finck  and  Smith. 


2  reference-plane  mapping.  A  second  principle  is  based  on  mapping  the  motions  of  the 
device  in  relation  to  the  plane  in  which  it  is  located  (as  seen  by  the  operator),  on  the 
motions  of  the  controlled  object  in  relation  to  the  plane  of  the  display  (see  Figure  IB). 
Only  if  both  are  located  in  the  same  plane,  motions  of  device  and  object  are  parallel  and  in 
accordance  with  spatial-motion  mapping.  However,  both  planes  will  often  not  be  parallel 
(for  example  control  device  in  a  horizontal  plane,  and  monitor  in  a  vertical  plane),  and 
both  mapping  principles  lead  to  a  different  mapping  (see  Figure  3). 
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The  experiments  of  Beringer  and  Worringham  (1992),  Buiel  and  Breedveld  (1995),  and  Van 
Erp,  Oving  and  Korteling  (1996),  showed  that  performance  in  the  reference-plane  mapping  is 
better  than  with  spatial-motion  mapping  in  2D  and  3D  tasks,  respectively.  Other  indications 
for  the  compatibility  of  reference-plane  mapping  is  found  in  the  experiments  of  Spragg,  Finck 
and  Smith  (1959),  and  Wayman  (1993).  When  control  and  display  orientation  are  different 
(configuration  C  and  D  in  Figure  2),  direct  mapping  of  the  control  plane  with  the  display 
plane  leads  to  better  performance.  Best  performance  was  reached  with  configuration  A,  which 
is  compatible  with  both  the  spatial-motion  and  the  reference-plane  mapping  principles. 


Fig.  3  Example  of  control-display  mapping  for  different  orientations  of  control  device 
and  display  used  in  the  experiment  of  Van  Erp,  Oving  and  Korteling  (1996):  A  and  C 
spatial-motion  mapping  present,  B  and  C  reference-plane  mapping  present. 


The  present  experiment 

The  present  experiment  focuses  on  control-display  mapping  for  three  translational  degrees  of 
freedom.  In  a  previous  experiment  (Van  Erp  et  al.,  1996),  it  was  shown  that  reference-plane 
mapping  led  to  faster  and  more  efficient  control  in  a  3D  positioning  task.  However,  the  2D 
display  used  included  no  other  depth  cues  than  relative  size  and  interposition.  Therefore, 
participants  might  have  experienced  the  task  as  a  normal  2D  mouse  positioning  task,  with  the 
third  dimension  added  by  moving  the  3D  mouse  up  and  down.  This  strategy  may  explain  the 
advantage  of  the  reference-plane  mapping.  The  present  experiment  again  concerns  a  3D 
positioning  task,  but  with  a  (2V2D)  display  with  extended  depth  cues,  including  three  dimen¬ 
sional  cubes,  linear  perspective,  texture  gradient,  interposition,  relative  size,  and  haze.  It  was 
hypothesized  that  participants  would  encounter  the  task  as  a  real  3D  task,  and  not  as  a  2D  task 
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with  an  added  dimension.  The  environment  could  be  depicted  in  three  forms:  no  environment, 
forward  looking,  and  downward  looking  (see  Figure  4).  The  first  environment  only  contained 
two  cubes,  the  last  two  environments  also  contained  four  walls  and  a  background.  Most 
distinctive  difference  between  the  last  two  was  the  orientation  of  the  bricks  and  the  colour  of 
the  background.  These  differences  were  accompanied  with  appropriate  instructions.  This  was 
expected  to  locate  graphity  or  the  plane  of  reference  in  a  different  orientation,  the  floor  for 
the  forward  looking,  and  the  bottom  for  the  downward  looking  environment,  respectively. 
Hypothesis  was  that  task  performanee  would  be  enhanced  when  control  display  mapping  was 
supported  by  the  environment  imposed  reference  plane.  In  this  case  the  reference-plane 
mapping  uses  the  screen  as  reference  and  would  be  enhanced  by  the  downward  looking 
environment  and  the  spatial  motion  mapping  would  be  enhanced  by  the  forward  looking 
environment.  In  the  results,  this  would  lead  to  an  interaction  between  control  mode  and 
display  mode. 
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Fig.  4  The  three  environments  used  in  the  present  experiment:  a.  no  environment,  b.  forward 
looking,  c.  downward  looking. 


10 


2  METHODS 

2.1  Subjects 

Sixteen  male  students  were  recruited  from  the  standard  TNO  subjects  pool.  Mean  age  was  21 
(SD  2  years,  range  19-26).  All  subjects  had  normal,  or  corrected  to  normal  sight,  were  right- 
handed,  had  no  experience  with  similar  experiments,  and  were  paid  for  their  participation. 


2.2  Task  and  Instruction 

Subjects'  task  was  a  positioning  task  in  three  dimensions.  The  display  depicted  two  cubes  of 
the  same  size,  one  green  and  one  red.  The  green  cube  was  positioned  at  a  fixed  location,  the 
position  of  the  red  one  was  controlled  by  the  subject  by  means  of  a  so-called  3D  mouse. 
Subjects  were  asked  to  position  the  red  cube  in  the  same  location  as  the  green  cube  in  the 
depicted  3D  space.  Instructions  were;  1.  to  position  this  cube  as  fast  as  possible,  and  2.  to 
reach  the  green  cube  via  the  shortest  way.  Depending  on  the  environment  depicted  in  the 
display,  the  following  additional  information  could  be  given:  forward  looking  environment: 
"you  are  working  in  a  corridor",  downward  looking  environment:  "you  are  working  in  a 
shaft".  Complete  instructions  in  Dutch  are  given  in  the  Appendix. 


2.3  Instrumentation 

The  experiment  was  carried  out  in  the  TNO  Human  Factors  Research  Institute  Remotely 
Piloted  Vehicle  simulator.  This  simulator  is  devised  to  simulate  unmanned  missions  and 
remote  control  operations,  and  is  described  elsewhere  (Korteling  &  Van  Breda,  1994). 

Image  generator 

A  one-channel  ESIG  2000  was  used  for  the  generation  of  the  visual  stimuli.  The  edges  of  the 
controlled  (red)  and  target  cubes  (green)  were  48  cm.  All  sides  had  different  saturations.  The 
green  target  cube  had  a  transparency  of  0.5,  so  outlines  of  the  controlled  cube  were  always 
visible.  In  the  forward  and  downward  looking  environments,  both  cubes  had  sticks  attached 
which  coimected  the  cubes  in  horizontal  orientation  with  the  walls.  These  sticks  were  square 
with  2  cm  diameter.  The  four  walls  were  textured  with  bricks  (12  bricks  in  64x64  pix.)  in 
the  forward  and  downward  environments.  The  visual  environment  measured  4x3.5x18  m 
(width  X  height  x  length).  In  all  display  modes,  a  glass  box  measuring  3.5x3.5x6.75  m 
was  simulated,  which  was  not  visible,  but  bordered  the  available  space  to  move  the  cubes  in. 
In  the  no-environment  condition,  the  walls  and  background  were  black.  In  the  forward 
looking  environment,  the  bricks  in  the  side  walls  were  orientated  in  the  depth  direction,  and 
the  background  consisted  of  a  view  on  trees  and  a  horizon.  In  the  downward  condition,  all 
bricks  were  orientated  perpendicular  to  the  depth  direction,  and  the  background  was  plain 
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black.  Visibility  was  50  km  in  the  forward  looking  environment,  0.8  km  in  the  downward 
looking  environment,  and  20  km  in  the  no-environment  condition.  All  objects  were  fixed 
shaded.  The  visual  stimuli  were  generated  for  a  projection  distance  of  45  cm  (43°x33°, 
HxV). 

Stimuli 

For  each  trial,  different  initial  positions  for  cursor  and  target  were  generated  by  choosing  an 
arbitrary  point  on  a  sphere  as  initial  position  for  the  target.  The  point  of  reference  of  the 
display  was  chosen  as  centre  of  the  sphere,  initial  position  of  the  cursor  was  found  by 
projecting  the  position  of  the  target  through  this  centre.  Initial  points  were  chosen  such,  that 
minimum  distance  travelled  on  each  axis  was  80  cm.  Furthermore,  taken  over  all  trials,  the 
total  distance  to  travel  was  equal  in  each  dimension.  To  balance  the  direction  of  the  required 
motion  on  each  axis,  initial  positions  of  target  and  cursor  were  switched,  and  added  to  the  list 
of  trials.  The  total  number  of  stimulus  pairs  was  90,  used  twice  in  every  display  mode 
(randomized  order).  Between  two  consecutive  trials,  the  screen  was  black  for  1.5  s. 

Instrumentation 

The  control  device  was  connected  to  a  LUN  80486-66  PC,  which  served  as  model  and 
calculated  the  parameters  for  the  image  generator.  This  PC  also  registered  stimulus  data,  and 
mouse  input,  and  stored  the  data.  A  second  LUN  80486-33  PC  was  used  as  clock;  update  and 
sample  frequency  of  the  total  system  was  set  at  30  Hz. 

As  control  device  in  the  experiment,  a  commercial  6  degree  of  freedom  space  master®  was 
used.  This  device  consists  of  a  ball,  mounted  on  a  stationary  platform.  By  subjecting 
force/torsion  on  the  ball,  one  moves  the  object.  This  also  results  in  small  postponement  of  the 
ball  in  relation  to  the  platform:  4.5  mm  for  translations.  The  ball  of  the  space  master  is 
spring-centred.  Because  of  the  availability  of  proprioceptive  feedback,  with  such  an  elastic 
control,  one  performs  better  than  with  an  iso-metric  device  (Zhai  &  Milgram,  1993;  Zhai, 
1993).  The  cursor  was  controlled  with  linear  speed  control  (first  order),  maximum  speed  (in 
3D)  was  1.8  m/s.  In  each  of  the  conditions,  the  mouse  was  located  5  cm  from  the  right  side  of 
the  monitor. 


2.4  Statistical  design 

Subjects  were  randomly  divided  into  two  control  mode  groups  of  eight  subjects  each.  The  first 
group  worked  with  a  control  -  display  mapping  according  to  the  reference-plane  mapping  (see 
Figure  3B),  the  second  group  worked  with  a  control  -  display  mapping  according  to  the 
spatial-motion  mapping  (Figure  3A).  Both  groups  completed  the  task  under  three  levels  of 
display  mode:  no  environment,  forward  view,  and  downward  view,  order  balanced.  In  each 
of  these  three  levels  a  total  of  180  trials  was  completed,  divided  over  two  sessions. 
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Dependent  variables 

During  the  experiment,  x,  y,  and  z  coordinates  of  the  controlled  cursor  were  recorded  (30  Hz 
sampling  frequency).  From  this  raw  data,  two  dependent  performance  measures  were 
extracted:  total  time  per  trial,  and  total  distance  travelled  per  trial.  This  last  variable  is  a 
measure  for  task  efficiency  (see  Van  Erp,  Kappe  &  Korteling,  1996).  Correct  positioning  was 
defined  as  keeping  the  cursor  for  0.5  s  within  an  area  around  the  target  (margin  15  cm).  If  a 
subject  could  not  complete  a  trial  within  60  s,  the  trial  was  interrupted,  and  the  next  started. 
In  this  case,  60  s  was  taken  as  score. 


2.5  Procedures 

Subjects  came  in  pairs  and  worked  consecutively.  After  arrival  they  were  randomly  assigned 
in  one  of  the  control  mode  groups.  They  simultaneously  were  introduced  on  the  general 
nature  of  the  experiment,  their  payment,  time  schedule  etc.  Thereafter,  they  received  a 
written  instruction  on  the  details  of  the  task,  and  their  particular  control  mode.  Individual 
training  consisted  of  free  moving  of  the  controlled  cube  in  the  first  display  mode  (one  minute, 
target  cube  not  visible),  followed  by  6  trials  in  fixed  order.  During  this  training  the  instructor 
sat  next  to  the  subject  and  explained  the  control  and  display.  After  this  initial  training  the 
experiment  began,  and  subjects  completed  the  trial  in  blocks  of  90  trials.  During  the 
experiment  no  feedback  was  given. 


3  RESULTS 
Time  to  completion 

Results  of  the  ANOVA  on  the  time  to  completion  is  given  in  Table  I. 


Table  I  ANOVA  on  time  to  completion. 


Effect 

DF 

F 

P 

display  mode  (d) 

2,8592 

0.53 

.587 

control  mode  (c) 

1,8592 

230.11 

.000 

d  X  c 

2,  8592 

5.84 

.003 

The  interaction  display  mode  x  control  mode  is  depicted  in  Figure  5.  A  post  hoc  test  on  this 
interaction  showed  no  other  significant  differences  than  caused  by  the  main  effect  of  control 
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mode:  spatial-motion  mapping  (mean  4.81  s)  led  to  10%  faster  task  completion  than 
reference-plane  mapping  (mean  5.34  s). 
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Fig.  5  Interaction  of  display  mode  and  control  mode  for  time  to  completion. 


Distance  travelled 

The  results  of  the  analysis  on  the  distance  travelled  are  presented  in  Table  II. 


Table  II  ANOVA  on  distance  travelled. 


Effect 

DF 

F 

P 

display  mode  (d) 

2,8592 

8.52 

.003 

control  mode  (c) 

1,8592 

0.09 

.762 

d  X  c 

2,  8592 

1.34 

.261 

Only  the  main  effect  of  display  mode  reached  significance.  Mean  distance  travelled  for  the 
three  levels  was  as  follows:  no  environment:  4.27  m,  forward  view:  4.37  m,  downward  view: 
4.30  m.  The  post  hoc  test  showed  that  distance  travelled  in  the  forward  view  was  significantly 
higher  than  in  the  other  two  display  modes. 
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4  DISCUSSION 
Time  to  completion 

The  results  found  on  control  mode  differ  from  the  results  found  in  a  previous  experiment 
(Van  Erp,  Oving  &  Korteling,  1997).  In  the  former  experiment,  no  extensive  depth  cues 
were  available  in  the  2D  display,  and  an  advantage  of  reference-plane  mapping  was  present 
on  time  to  completion  and  distance  travelled  in  a  positioning  task.  In  the  present  experiment, 
more  extensive  cues  were  present,  which  resulted  in  better  results  in  the  spatial-motion 
mapping  on  time  to  completion.  An  explanation  for  the  effect  found  in  the  first  experiment 
may  be  that  subjects  experienced  the  task  as  a  2D  mouse  control  task,  with  a  third  dimen¬ 
sion  added.  This  would  lead  to  an  advantage  for  the  reference-plane  mapping.  The  visual 
cues  given  in  the  present  experiment  probably  have  encouraged  subjects  to  feel  the  task  as 
really  operating  in  a  3D  environment,  which  may  therefore  lead  to  advantage  for  a  mapping 
in  which  motions  are  parallel  in  3D  space. 

This  indicates  that,  when  no  extensive  3D  cues  are  available,  subjects  tend  to  prefer  a 
mapping  which  is  learned  for  controlling  a  mouse  on  a  computer  screen,  and  simple  add  the 
third  dimension.  This  leads  to  a  reference-plane  mapping.  When  the  task  environment 
contains  more  3D  cues,  the  preferred  mapping  is  the  spatial-motion  mapping,  which  is 
compatible  when  the  3D  control  space  is  experienced  as  congruent  with  the  3D  object  space. 

The  results  may  have  serious  consequences  for  the  design  of  manual  controlled  systems 
without  direct  viewing.  When  the  manipulated  object  is  viewed  or  presented  to  the  operator 
in  a  3D  environment,  for  example  by  video  cameras,  a  spatial-motion  mapping  is  preferable. 
However,  when  only  a  simplified  graphical  representation  is  seen,  operators  may  experience 
their  task  more  as  a  2D  task  with  one  additional  translational  degree  of  freedom.  In  this 
situation,  the  reference-plane  mapping  seems  to  be  preferable. 

There  is  no  difference  between  the  forward  and  downward  looking  environment.  This  is  in 
accordance  to  the  hypothesis,  we  expected  no  inherent  advantage  of  one  of  the  configura¬ 
tions,  because  they  were  matched  as  good  as  possible  on  the  characteristics  and  quality  of 
the  visual  cues  given  during  the  task.  However,  we  expected  that  both  environments,  in 
combination  with  instructions  given,  would  support  one  control-display  mapping,  i.e.  the 
compatible  one,  more  than  the  other.  Although  there  is  a  trend  present  concerning  this 
interaction,  the  post-hoc  test  could  not  reveal  the  expected  pattern.  This  means  that  with 
sufficient  3D  cues  present,  the  spatial-motion  display  mapping  leads  to  faster  completion 
times,  despite  the  nature  of  the  presented  environment. 

Distance  travelled 

On  the  distance  travelled  (task  efficiency),  we  found  a  main  effect  of  display  mode  only. 
The  post-hoc  Tukey  test  showed  that  distance  travelled  in  the  forward  looking  environment 
is  significantly  larger  than  in  the  other  two  environments.  A  main  effect  for  this  variable  was 
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not  expected,  although  one  might  hypothesize  an  advantage  of  the  forward  and  downward 
looking  environments  over  the  empty  world.  An  explanation  for  this  effect  is  not  available. 

The  fact  that  this  interaction  is  not  found  may  be  due  to  the  fact  that  the  differences  between 
both  displays  are  only  small,  because  of  the  need  to  minimize  the  differences  in  the  quality 
of  the  visual  information  provided  by  the  displays.  The  hypothesized  interaction  between 
control  mode  and  display  mode  is  not  found  on  time  to  completion  or  distance  travelled. 
This  means  that  the  availability  of  extensive  3D  cues  alone  is  sufficient  to  enhance  the 
spatial-mapping  mode,  despite  the  environment  in  which  the  task  must  be  carried  out.  This 
implies  that  the  orientation  of  the  display  (or  for  example  orientation  of  the  camera)  has  no 
implications. 

Recommendations 

A  manually  controlled  system  with  3  or  more  (translational)  degrees  of  freedom  requires  the 
designer  to  carefully  consider  the  possibilities  of  mapping  the  motions  of  the  input  device  on 
the  motions  of  the  controlled  object.  Better  performance  will  be  reached  when  this  mapping 
is  more  compatible,  i.e.  in  accordance  with  natural  indications  and/or  what  operators  expect. 
The  present  research  project  shows  that  the  view  on  the  controlled  object  plays  an  important 
role  in  this  design.  On  the  basis  of  the  present  and  previous  experiment,  one  may  conclude 
that  the  presentation  of  a  3D  environment  in  the  visual  display  may  lead  to  an  other 
preferred  mapping  than  a  simplified  2D  graphical  representation.  In  the  last  instance, 
operators  prefer  a  reference-plane  mapping,  in  which  motions  are  parallel  in  comparison 
with  their  ground  plane.  However,  when  extensive  3D  cues  are  available  (for  example  with 
a  camera-monitor  system),  operators  prefer  a  spatial-motion  mapping,  in  which  the  motions 
of  the  control  device  and  the  control  object  are  always  parallel  in  3D  space.  This  mapping  is 
preferred  despite  a  difference  in  orientation  of  the  ground  plane  or  visual  environment.  It  is 
recommended  to  adjust  the  control  display  mapping  according  to  the  visual  display  available. 
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APPENDIX  Complete  instructions  in  Dutch 


Er  verschijnen  twee  gekleurde  kubussen  op  het  beeldscherm:  een  groene  en  een  rode  kubus. 
De  rode  kubus  kun  je  besturen  met  een  3D-muis,  de  groene  blijft  stilstaan.  Bij  deze  taak  is 
het  de  bedoeling  dat  je  de  rode  kubus  zo  snel  mogelijk  naar  de  groene  kubus  stuurt. 
Daarnaast  moet  je  ook  proberen  om  de  groene  kubus  in  een  zo  recht  mogelijke  lijn  te 
bereiken.  Hierbij  moet  de  rode  kubus  in  de  groene  kubus  worden  geplaatst.  De  kubussen 
verdwijnen  van  het  scherm  zodra  je  de  rode  kubus  goed  genoeg  in  de  groene  kubus  hebt 
geplaatst. 

Hierbij  kun  je  in  de  links-rechts  en  omhoog-omlaag  richting  van  het  scherm  bewegen. 
Daarnaast  kun  je  ook  in  de  diepte-richting  bewegen.  Welke  kubus  van  de  twee  verder  van  je 
af  ligt  (meer  in  de  diepte),  kun  je  zien  doordat  deze  kubus  kleiner  is.  Daarnaast  kan  de 
kubus  die  dichter  bij  ligt  (en  dus  groter  is),  de  andere  kubus  geheel  of  gedeeltelijk  afdekken, 
waardoor  de  laatste  kubus  maar  gedeeltelijk  of  helemaal  niet  is  te  zien. 

of  (bij  spatial  motion  mapping) 

Wanneer  je  de  bol  van  de  muis  naar  links  beweegt,  beweegt  ook  de  rode  kubus 
naar  links,  en  beweeg  je  de  bol  naar  rechts  dan  gaat  ook  de  kubus  naar  rechts. 

Om  de  kubus  in  de  diepte  te  sturen  (kleiner  te  maken)  beweeg  je  de  bol  naar 
voren  (van  je  af).  Om  de  kubus  naar  je  toe  te  halen  (groter  te  maken)  beweeg  je 
de  bol  naar  je  toe.  Om  de  kubus  omhoog  te  bewegen  op  het  scherm,  trek  je  de 
bol  omhoog.  En  om  de  kubus  omlaag  te  bewegen  op  het  scherm,  druk  je  de  bol 
naar  beneden. 

of  (bij  r^erence-plane  mapping) 

Wanneer  je  de  bol  van  de  muis  naar  links  beweegt,  beweegt  ook  de  rode  kubus 
naar  links,  en  beweeg  je  de  bol  naar  rechts  dan  gaat  ook  de  kubus  naar  rechts. 

Om  de  kubus  in  de  diepte  te  sturen  (kleiner  te  maken)  beweeg  je  de  bol  naar 
beneden.  Om  de  kubus  naar  je  toe  te  halen  (groter  te  maken)  beweeg  je  de  bol 
naar  boven.  Om  de  kubus  omhoog  te  bewegen  op  het  scherm,  beweeg  je  de  bol 
naar  voren  (van  je  af).  En  om  de  kubus  omlaag  te  bewegen  op  het  scherm, 
beweeg  je  de  bol  naar  je  toe. 

Bij  deze  taak  worden  drie  verschillende  omgevingen  gebruikt.  Zo  voer  je  de  taak  een  keer 
uit  in  een  put,  waarbij  je  loodrecht  naar  beneden  kijkt  (je  kijkt  dus  naar  de  bodem  van  de 
put).  Daarnaast  voer  je  de  taak  een  keer  uit  in  een  gang,  waarbij  je  in  de  verte  een  horizon 
ziet.  Je  voert  de  taak  ook  nog  een  keer  uit  in  een  omgeving  waarin  je  alleen  de  kubussen 
ziet;  hierbij  is  de  rest  van  het  scherm  zwart. 

Warmeer  de  test  wordt  gestart,  verschijnen  er  twee  kubussen  direct  op  het  scherm.  Het  is 
dus  belangrijk  dat  je  dan  al  je  hand  in  de  buurt  van  de  muis  hebt  liggen,  zodat  je  direct  kunt 
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reageren.  Om  te  wennen  aan  de  muis,  krijg  je  eerst  alleen  de  rode  kubus  te  zien.  Hiermee 
kun  je  de  verschillende  bewegingen  even  uitproberen.  De  taak  is  afgelopen  als  er  geen 
nieuwe  kubussen  meer  op  het  beeldscherm  verschijnen. 

De  bedoeling  is:  de  rode  kubus  zo  snel  en  zo  direct  mogelijk  naar  de  groene  kubus  sturen!! 
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